Năm 220, Tào Tháo mất, con là Tào Phi giành ngôi nhà Hán lập ra nhà Ngụy, tức là Ngụy Văn Đế. Văn Đế vừa lập Lương Châu, lấy Thái thú An Định là Trâu Kì làm Thứ sử Lương châu. Người quận Trương Dịch là Trương Tiến bắt giữ Quận thú đem quân chống Kỳ, các tướng Hoàng Hoa, Cúc Diễn đều đuổi Thái thú cũ, đem quân ứng theo Trương Tiến. Trương Ký đem quân giúp oai thế cho Hộ Khương Hiệu úy Tô Tắc, cho nên Tô Tắc vì thế mà lập công[2]. Do đó ông được phong làm Đô Hương Hầu.

Người Hồ huyện Lô Thủy thuộc Lương Châu là Y Kiện Kĩ Thiếp, Trị Nguyên Đa nổi dậy chống lại, miền Hà Tây lo lắng. Tào Phi lo lắng, liền gọi Trâu Kì về, lấy Trương Ký đến thay làm thứ sử Lương châu, sai Hộ quân Hạ Hầu Nho, tướng quân Phí Diệu đi theo sau. Trương Ký đến quận Kim Thành, muốn vượt sông, các tướng giữ ý cho rằng quân ít đường hiểm, không nên vào sâu, nhưng Trương Ký nói:

"Đường dẫu hiểm nhưng không có cái ngăn trở của núi cao, vả lại người Di Địch rời rạc, không có kế dùng xe để đi, nay Vũ Uy nguy cấp, phải đến nhanh mới được".

Ông bèn vượt sông. Hơn 7000 quân kị của địch chống giữ ở cửa Chiêm Ân. Trương Ký phao tin là đem quân theo lối Chiêm Ân, lại ngầm từ bến Thư Thứ ra đến Vũ Uy. Người Hồ cho là thần, dẫn quân về Hiển Mĩ. Trương Ký đã chiếm Vũ Uy, Phí Diệu cũng đến, nhưng Hạ Hầu Nho vẫn chưa đến. Trương Ký vỗ về tướng sĩ, muốn tiến quân đánh người Hồ, các tướng đều sợ quân sĩ mỏi mệt khó cùng giao tranh với địch. Trương Ký cho rằng:

"Nay quân ta không thấy lương thực đến, phải trông dựa vào lương ăn của địch. Nếu giặc thấy quân ta hợp binh, tất lui vào giữ núi thẳm, đuổi theo thì đường hiểm khốn cùng, rút quân về thì giặc đi ra cướp phá. Như thế quân không được lợi, đấy gọi là: 'Một ngày tha địch, lo đến mấy đời' vậy".

Rồi ông đem quân đến Hiển Mỹ, mấy nghìn quân kị người Hồ nhân gió lớn muốn phóng lửa đốt trại, tướng sĩ đều sợ. Trương Ký buổi đêm đặt 3000 quân tinh nhuệ ẩn nấp, sai Tham quân Thành Công Anh đem hơn nghìn quân kị ra dụ đánh, sai phải rút về phía nam, quả nhiên người Hồ tranh nhau đuổi theo. Ông liền phát quân chặn ở sau, đầu đuôi đến đánh, đại phá địch, chém đầu bắt sống đến mấy vạn người[2].

Ngụy Văn Đế rất mừng phong Trương Ký làm Tây Hương hầu, tăng ấp 200 hộ, tổng số là 600 hộ.

Người huyện Tửu Tuyền là Tô Hành nổi dậy, cùng tù trưởng người Khương là Lân Đái và hơn vạn quân kị người Hồ ở Đinh Linh đánh các huyện biên giới. Trương Ký cùng Hạ Hầu Nho đánh phá chúng, Tô Hành và Lân Đái đều hàng. Trương Kýdâng sớ xin cùng Nho sửa chữa thành, đắp lũy ngăn, đặt đài lửa, gác canh để phòng bị người Hồ.

Người Khương miền tây sợ, đem hơn hai vạn người đến hàng. Sau đó người quận Tây Bình là Cúc Quang giết Quận thú của mình, các tướng muốn đánh chúng, Trương Ký cho rằng:

"Chỉ có bọn Quang làm phản, người trong quận không hẳn là cùng phản hết. Nếu tự ý đem quân đến đánh, quan dân và người Khương, Hồ tất cho là nhà nước không phân biệt đúng sai, tất sẽ cùng chống giữ nhau, đấy là hổ mọc thêm cánh vậy. Bọn Quang muốn lấy người Khương, Hồ làm quân giúp, nay nên sai người Khương, Hồ đánh phá chúng trước, lại thưởng nhiều cho họ, người nào bắt được giặc đều ban thưởng. Ngoài ngăn chặn thế của chúng, trong chia rẽ người của chúng, tất không cần đánh mà định được".

Sau đó Trương Ký phát hịnh khuyên dụ người Khương, người bị Quang lừa dối thì tha cho; ai chém đem đầu tướng giặc đến thì được phong thưởng. Do đó thuộc hạ của Quang chém đem đầu Quang đến, những người còn lại đều được ở yên như cũ.

Trương Ký trông coi hai châu hơn 10 năm, ân đức nổi rõ, những người được ông tiến cử như người quận Phù Phong là Bàng Diên, người quận Thiên Thủy là Dương Phụ, người huyện An Định là Hồ Tôn, người quận Tửu Tuyền là Bàng Dục, người quận Đôn Hoàng là Trương Cung, Chu Sinh Liệt, sau này đều là những người có danh tiếng[2].

Năm 223, Trương Ký mất. Ông phục vụ cho họ Tào trong gần 30 năm. Ngụy Văn Đế hạ chiếu khen ngợi ông, cho con nhỏ của ông là Trương Ông chức Quan nội hầu. Năm 226, Ngụy Minh Đế lên ngôi, tặng thụy cho ông là Túc Hầu, cho con ông là Trương Tập nối tự.

Tuy là người có đóng góp lớn trong việc giữ yên vùng lãnh thổ phía tây nước Tào Ngụy nhưng Trương Ký không được La Quán Trung nói đến trong tiểu thuyết Tam Quốc diễn nghĩa.